解决组合优化（CO）问题的传统求解器通常是由人类专家设计的。最近，人们对利用深度学习，尤其是深度强化学习的兴趣激增，自动为CO学习有效的求解器。由此产生的新范式称为神经组合优化（NCO）。但是，在经验或理论上，NCO的优势和缺点与其他方法的优势尚未得到很好的研究。在这项工作中，我们介绍了NCO求解器和替代求解器的全面比较研究。具体而言，将旅行推销员问题作为测试床问题，我们根据五个方面（即有效性，效率，稳定性，可扩展性和概括能力）评估求解器的性能。我们的结果表明，通常，NCO方法学到的求解器几乎在所有这些方面仍然没有传统求解器。前者的潜在好处将是在有足够的培训实例时，他们在小规模的问题实例上的卓越时间和能源效率。我们希望这项工作将有助于更好地理解NCO的优势和劣势，并提供全面的评估协议，以进一步对NCO进行针对其他方法的基准测试。
translated by 谷歌翻译
社会建议利用社会关系来增强建议的代表性学习。大多数社会推荐模型都将用户互动（协作领域）和社会关系（社会领域）的用户表示统一。但是，这种方法可能无法模拟用户在两个域中的异质行为模式，从而损害了用户表示的表现力。在这项工作中，为了解决这种局限性，我们为社会建议提出了一个新颖的截面对比度学习框架DCREC。更具体地说，我们建议从项目和社会域中学习分开的用户表示。此外，分离的对比度学习旨在在分散的用户表示之间进行社交建议之间的知识转移。各种现实世界数据集的全面实验证明了我们提出的模型的优势。
translated by 谷歌翻译
分割高度重叠的图像对象是具有挑战性的，因为图像上的真实对象轮廓和遮挡边界之间通常没有区别。与先前的实例分割方法不同，我们将图像形成模拟为两个重叠层的组成，并提出了双层卷积网络（BCNET），其中顶层检测到遮挡对象（遮挡器），而底层则渗透到部分闭塞实例（胶囊）。遮挡关系与双层结构的显式建模自然地将遮挡和遮挡实例的边界解散，并在掩模回归过程中考虑了它们之间的相互作用。我们使用两种流行的卷积网络设计（即完全卷积网络（FCN）和图形卷积网络（GCN））研究了双层结构的功效。此外，我们通过将图像中的实例表示为单独的可学习封闭器和封闭者查询，从而使用视觉变压器（VIT）制定双层解耦。使用一个/两个阶段和基于查询的对象探测器具有各种骨架和网络层选择验证双层解耦合的概括能力，如图像实例分段基准（可可，亲戚，可可）和视频所示实例分割基准（YTVIS，OVIS，BDD100K MOTS），特别是对于重闭塞病例。代码和数据可在https://github.com/lkeab/bcnet上找到。
translated by 谷歌翻译
随着深度学习的普及，深度学习的硬件实施平台引起了人们的兴趣。与通用设备，例如CPU或GPU不同，在软件级别执行深度学习算法，神经网络硬件加速器直接执行算法，以提高能源效率和性能提高。但是，随着深度学习算法的频繁发展，设计硬件加速器的工程工作和成本大大增加了。为了提高设计质量的同时，提出了神经网络加速器的设计自动化，在该设计空间探索算法被用于在设计空间内自动搜索优化的加速器设计。然而，神经网络加速器的复杂性增加为设计空间带来了不断增加的尺寸。结果，以前的设计空间探索算法不再足够有效，无法找到优化的设计。在这项工作中，我们提出了一个名为Gandse的神经网络加速器设计自动化框架，我们在其中重新考虑了设计空间探索的问题，并提出了一种基于生成对抗网络（GAN）的新方法，以支持高尺寸大型设计的优化探索空间。实验表明，与包括多层感知器和深度强化学习在内的方法相比，甘德能够在可忽略的时间中找到更优化的设计。
translated by 谷歌翻译
尽管视频实例细分（VIS）已经取得了迅速的进步，但当前的方法难以预测具有准确边界细节的高质量面具。此外，预测的分割经常会随着时间的流逝而波动，表明时间一致性线索被忽略或不充分利用。在本文中，我们着手解决这些问题，目的是实现VIS的高度详细且更具时间稳定的面具预测。我们首先提出了视频蒙版转换方法（VMT）方法，得益于高效的视频变压器结构，能够利用细粒度的高分辨率功能。我们的VMT检测和组在视频段中每个曲目的稀疏易用错误时空区域稀疏，然后使用局部和实例级别的提示对其进行完善。其次，我们确定流行的YouTube-VIS数据集的粗边界注释构成了一个主要限制因素。因此，根据我们的VMT体系结构，我们通过迭代培训和自我纠正设计了一种自动注释细化方法。为了基准VIS的高质量掩码预测，我们介绍了HQ-YTVIS数据集，该数据集由手动重新注销的测试集和我们的自动完善培训数据组成。我们将VMT与HQ-YTVI的最新最新方法以及YouTube-VIS，OVIS和BDD100K MOTS基准进行了比较。实验结果清楚地证明了我们方法通过捕获精确的细节来分割复杂和动态对象的功效和有效性。
translated by 谷歌翻译
我们展示了在文本上预先培训的神经网络，并在代码上进行微调解决数学问题，通过程序合成解决了数学问题。我们将问题转化为编程任务，自动生成程序，然后从MIT的大型数学课程（单变微积分18.01，多变量计算18.02，微分方程18.03，概率和统计介绍18.05，概率和统计概要和统计概要和统计概要和统计概要和统计概要和统计概要和统计概要和统计概况概要和统计概要和统计概要和统计概率概述的大学级问题。 18.06，以及计算机科学的数学6.042）以及数学数据集的问题（在预先发生的地板，代数，计数和概率，数字理论和前进的问题上），最新数学问题的基准专门用于评估数学推理。我们探索提示生成方法，使变形金刚能够为这些主题生成问题解决程序，包括具有图的解决方案。我们在每个主题中的随机问题上生成正确的答案。我们量化了原始和转型问题之间的差距，并进行了调查以评估所产生的问题的质量和难度。这是在规模上自动解决，等级和生成大学数学课程问题的第一项工作，这代表了高等教育的里程碑。
translated by 谷歌翻译
两阶段和基于查询的实例分段方法取得了显着的结果。然而，他们的分段面具仍然非常粗糙。在本文中，我们呈现了用于高质量高效的实例分割的掩模转发器。我们的掩模转发器代替常规密集的张量，而不是在常规密集的张量上进行分解，并表示作为Quadtree的图像区域。我们基于变换器的方法仅处理检测到的错误易于树节点，并并行自我纠正其错误。虽然这些稀疏的像素仅构成总数的小比例，但它们对最终掩模质量至关重要。这允许掩模转换器以低计算成本预测高精度的实例掩模。广泛的实验表明，掩模转发器在三个流行的基准上优于当前实例分段方法，显着改善了COCO和BDD100K上的大型+3.0掩模AP的+3.0掩模AP的大余量和CityScapes上的+6.6边界AP。我们的代码和培训的型号将在http://vis.xyz/pub/transfiner提供。
translated by 谷歌翻译
图形神经网络（GNNS）已经变得越来越流行，并且在许多基于图形的应用程序中实现了令人印象深刻的结果。但是，需要广泛的手动工作和域知识来设计有效的架构，GNN模型的结果具有高差异，与不同的培训设置相比，限制了现有GNN模型的应用。在本文中，我们展示了AutoHensgnn，这是一个框架，用于为图表任务构建有效和强大的模型而没有任何人为干预。 Autohensgnn在kdd杯2020年签名挑战中赢得了第一名，并在最终阶段实现了五个现实生活数据集的最佳等级分数。鉴于任务，AutoHensgnn首先应用一个快速的代理评估，以自动选择有希望的GNN模型的池。然后它构建了一个分层合奏框架：1）我们提出图形自我合奏（GSE），这可以减少重量初始化的方差，有效利用本地和全球街区的信息; 2）基于GSE，使用不同类型的GNN模型的加权集合来有效地学习更多辨别节点表示。为了有效地搜索体系结构和合奏权重，我们提出了AutoHensgnn $ _ {\ text {梯度}} $，它将架构和集合权重视为架构参数，并使用基于梯度的架构搜索来获得最佳配置，而autohensgnn $ {autohensgnn $ { \文本{Adaptive}} $，可以根据模型精度自适应地调整集合重量。关于节点分类的广泛实验，图形分类，边缘预测和KDD杯挑战表明了Autohensgnn的有效性和一般性
translated by 谷歌翻译
2021-11-16
我们通过使用Openai的Codex进行计划综合解决大学级概率和统计问题，一个在文本上培训并在代码上进行微调的变压器。我们从MIT 18.05的课程问题转换为概率和统计信息和哈佛的Stat110概率转换为编程任务。然后，我们执行生成的代码以获得解决方案。由于这些课程问题在概率地基础上，我们往往的目标是具有Codex生成概率的程序，以模拟大量概率依赖项来计算其解决方案。我们的方法需要提示工程将问题从其原始表格转换为明确的，贸易的表格，导致正确的程序和解决方案。为了估计将原始问题转化为此易易表单所需的工作量，我们衡量了原始和转型问题之间的相似性。我们的工作是第一个推出大学级概率和统计问题的新数据集，并使用大型语言模型的程序综合能力以可扩展方式解决这些问题。
translated by 谷歌翻译
过去几年的对抗性文本攻击领域已经大大增长，其中常见的目标是加工可以成功欺骗目标模型的对抗性示例。然而，攻击的难以察觉，也是基本目标，通常被以前的研究遗漏。在这项工作中，我们倡导同时考虑两个目标，并提出一种新的多优化方法（被称为水合物转速），具有可提供的绩效保证，以实现高稳定性的成功攻击。我们通过基于分数和决策的设置，展示了HydroText通过广泛实验的效果，涉及五个基于基准数据集的现代NLP模型。与现有的最先进的攻击相比，Hydratext同时实现了更高的成功率，更低的修改率和与原始文本更高的语义相似性。人类评估研究表明，由水分精制成的对抗例保持良好的有效性和自然。最后，这些例子也表现出良好的可转移性，并且可以通过对抗性培训为目标模型带来显着的稳健性。
translated by 谷歌翻译